LL
r/LocalLLaMA • 56일 전
IMP 8
애플, 코드 생성 성능 높이는 '초간단 자기 증류' 기법
애플 연구진이 검증자나 강화학습 없이 대규모 언어 모델(LLM)의 코드 생성 능력을 향상시키는 초간단 자기 증류(SSD) 기법을 제안했습니다. 이 방법은 모델 자체의 출력을 샘플링하여 표준 지도 학습 미세조정(SFT)을 수행하는 것만으로 성능을 크게 높입니다. 실제로 300억 파라미터 모델의 코딩 벤치마크 점수를 약 13% 포인트나 끌어올리며, 향후 AI 모델의 포스트 트레이닝 방향성을 제시한다는 점에서 매우 중요한 연구입니다.
애플 연구 자기 증류 코드 생성